Scalable Resilience Against Node Failures for Communication-Hiding Preconditioned Conjugate Gradient and Conjugate Residual Methods

The observed and expected continued growth in the number of nodes in large-scale parallel computers gives rise to two major challenges: global communication operations are becoming major bottlenecks due to their limited scalability, and the likelihood of node failures is increasing. We study an approach for addressing these challenges in the context of solving large sparse linear systems. In particular, we focus on the pipelined preconditioned conjugate gradient (PPCG) method, which has been shown to successfully deal with the first of these challenges. In this paper, we address the second challenge. We present extensions to the PPCG solver and two of its variants which make them resilient against the failure of a compute node while fully preserving their communication-hiding properties and thus their scalability. The basic idea is to efficiently communicate a few redundant copies of local vector elements to neighboring nodes with very little overhead. In case a node fails, these redundant copies are gathered at a replacement node, which can then accurately reconstruct the lost parts of the solver's state. After that, the parallel solver can continue as in the failure-free scenario. Experimental evaluations of our approach illustrate on average very low runtime overheads compared to the standard non-resilient algorithms. This shows that scalable algorithmic resilience can be achieved at low extra cost.Comment: 12 pages, 2 figures, 2 table

A global matrix factorization problem for interference alignment

Interferenzausrichtung auf dem K-Teilnehmer-Interferenzkanal ist ein Verfahren der Informationstheorie zur Vermeidung elektromagnetischer Interferenz in drahtlosen Netzwerken durch Anwendung von Präkodierungsmatrizen V_j auf Senderseite und Postkodierungsmatrizen U_k auf Empfängerseite, sodass für alle j ~= k: U*_k H_kj V_j = 0 für gegebene Kanalmatrizen H_kj. Ein Algorithmus von Gomadam u. a. löst das Interferenzausrichtungsproblem durch iterative Optimierung von V_j und U_k bei allen Sendern und Empfängern. Es wurde jedoch bisher nicht bewiesen, dass dieser iterative Algorithmus gegen ein globales Optimum konvergiert. Um eine direkte und optimale Lösung zu finden, reformulieren wir das Interferenzausrichtungsproblem als das äquivalente Problem, eine gegebene globale Kanalmatrix H so zu faktorisieren, dass H = U S V*, wobei U, S und V Matrizen mit bestimmten dünnbesetzten Strukturen sind. Als ersten Schritt in Richtung einer direkten Lösung dieses globalen Matrizenfaktorisierungsproblems konzentrieren wir uns darauf, S durch Anwendung von unitären Householder- und Givenstransformationen auf H zu konstruieren. Wir schlagen mehrere Varianten eines direkten Algorithmus vor, die S mit vollen, tridiagonalen und bidiagonalen Hauptdiagonalblöcken einer blockdiagonalen Untermatrix erzeugen. Die Algorithmenvariante, die bidiagonale Blöcke hervorbringt, akzeptiert alle Eingabeparameterwerte, die mit den Durchführbarkeitskriterien für Interferenzausrichtung aus der Literatur übereinstimmen. Unter Betrachtung der Hauptdiagonalelemente, die gleich null sein müssen, argumentieren wir, dass U und V keine Produkte von Householder- und Givensmatrizen sein können und es daher keine direkte Lösung des allgemeinen globalen Matrizenfaktorisierungsproblems ausschließlich basierend auf Householderspiegelungen und Givensdrehungen gibt. Auf Grundlage von numerischen Experimenten mit einer prototypischen Implementierung des iterativen Algorithmus erkennen wir, dass eine prototypische Implementierung unseres direkten Algorithmus beträchtlich weniger Operationen benötigt, wodurch die Bedeutung und das Potenzial einer direkten Lösung des Interferenzausrichtungsproblems ersichtlich ist.Interference alignment on the K-user interference channel is a technique from information theory that aims to avoid electromagnetic interference in wireless networks by employing precoding matrices V_j at the transmitters and postcoding matrices U_k at the receivers such that for all j ~= k: U*_k H_kj V_j = 0 for given channel matrices H_kj. An algorithm by Gomadam et al. solves the interference alignment problem by iteratively optimizing V_j and U_k at all transmitters and receivers. However, it has not yet been proved that this iterative algorithm converges to a global optimum. For the purpose of finding a direct and optimal solution, we reformulate the interference alignment problem as the equivalent problem to factorize a given global channel matrix H such that H = U S V*, where U, S, and V are matrices of specific sparsity patterns. As a first step towards a direct solution to this global matrix factorization problem, we focus on constructing S by applying unitary Householder and Givens transformations to H. We propose several variants of a direct algorithm that create S with full, tridiagonal, and bidiagonal main diagonal blocks of a block-diagonal submatrix. The bidiagonal blocks algorithm variant accepts all input parameter values in conformance with the feasibility criteria for interference alignment from the literature. In consideration of the main diagonal elements that have to be equal to zero, we argue that U and V cannot be products of Householder and Givens matrices, and hence, there is no direct solution to the general global matrix factorization problem solely based on Householder reflections and Givens rotations. On the basis of numerical experiments with a prototype implementation of the iterative algorithm, we discover that a prototype implementation of our direct algorithm requires substantially less operations, which shows the relevance and potential of a direct solution to the interference alignment problem